Seleção e tradução de Júlio Marques Mota
8 min de leitura
Texto 40 – Denunciante: O robô de conversação das escolas de Los Angeles usou dados de alunos de forma indevida enquanto a empresa de tecnologia se desmoronava
Por Mark Keierleber
Publicado por 
em 1 de Julho de 2024 (original aqui)
A AllHere, empresa emergente de tecnologia educacional contratada para desenvolver o elogiado robô de conversação de IA da LAUSD, chamado “Ed”, lidou de maneira negligente com registos sensíveis, alega um ex-engenheiro de software.
Apenas semanas antes do colapso da AllHere, uma empresa de tecnologia educacional que havia sido inundada com dinheiro de investidores de capital de risco e destacada em perfis elogiosos pela imprensa de negócios, o segundo maior distrito escolar dos Estados Unidos foi alertado sobre problemas com o produto da AllHere.
Enquanto a empresa emergente de oito anos lançava o vistoso novo robô de conversação com inteligência artificial no Distrito Escolar Unificado de Los Angeles [LAUSD] — um sol animado chamado “Ed”, que a AllHere foi contratada para construir por 6 milhões de dólares — um ex-executivo da empresa enviava e-mails para o distrito e outros alertando que o funcionamento do Ed violava princípios fundamentais de privacidade de dados dos estudantes.
Esses e-mails foram enviados pouco antes do jornal The 74 relatar na semana passada que a AllHere, com 12 milhões de dólares em capital de investidores, estava em sérias dificuldades. Uma declaração publicada no site da empresa em 14 de junho revelou que a maioria dos seus funcionários havia sido colocada em licença não remunerada devido à sua “posição financeira atual”. A fundadora e CEO da empresa, Joanna Smith-Griffin, segundo disse um porta-voz do distrito de Los Angeles, já não estava no cargo.
Smith-Griffin e o superintendente de Los Angeles, Alberto Carvalho, saíram em viagem publicitária juntos nesta primavera para apresentar o Ed numa série de conferências de tecnologia educacional de alto perfil, com o chefe das escolas chamando-o de o primeiro “assistente pessoal” para estudantes do país e destacando fortemente o lugar do LAUSD na vanguarda da IA no ensino básico e secundário (K-12). Ele afirmou que a capacidade do Ed de conhecer os estudantes “não tinha precedentes na educação pública americana” durante a conferência ASU+GSV em abril.
Através de um algoritmo que analisa grandes volumes de informações dos alunos provenientes de múltiplas fontes, o robô de conversação foi projetado para oferecer respostas personalizadas a perguntas como “qual é a nota do meu filho em matemática?”. A ferramenta depende de vastas quantidades de dados dos estudantes, incluindo o seu desempenho académico e acomodações de educação especial, para funcionar.
Entretanto, Chris Whiteley, ex-diretor responsável por engenharia de software da AllHere, que foi despedido em abril, tornou-se um denunciante. Ele informou responsáveis do distrito, o gabinete do inspetor-geral independente e aos responsáveis estaduais pela educação que a ferramenta informática processava registos de alunos de maneiras que provavelmente violavam as próprias regras de privacidade de dados do L.A. Unified School District [LAUSD] e colocavam informações sensíveis em risco de serem pirateadas. Nenhuma das agências respondeu, disse Whiteley ao The 74.
“Quando a AllHere começou a trabalhar para o LAUSD, foi aí que, para mim, todos os problemas de privacidade de dados começaram a surgir”, disse Whiteley numa entrevista na semana passada. O problema, segundo ele, resumia-se a uma empresa sobrecarregada e que “estava quase sempre em chamas” em termos de operações e gestão. O robô de conversação LAUSD era diferente de tudo o que a empresa já havia construído antes e — dado o estado precário da empresa — poderia ser o último.
Se a AllHere estava em caos e seu robô de conversação personalizado estava afetado por práticas de dados pouco seguras, Carvalho [superintendente de LA] estava a retratar o oposto. Um dia antes do The 74 divulgar a notícia sobre a turbulência na empresa e a saída de Smith-Griffin, o EdWeek Marketbrief destacou o chefe das escolas numa conferência em Denver falando sobre quão habilidosamente a LAUSD geria as suas relações com fornecedores de tecnologia educacional — “Nós obrigamo-los a todos a jogar na mesma zona protegida” — enquanto garantiam que “proteger a privacidade dos dados é uma prioridade máxima”.
Numa declaração na sexta-feira, um porta-voz do distrito disse que o sistema escolar “leva essas preocupações a sério e continuará a tomar todas as medidas necessárias para garantir que proteções apropriadas de privacidade e segurança estejam em vigor na plataforma Ed”.
“De acordo com o contrato e a legislação aplicável, a AllHere não está autorizada a armazenar dados de estudantes fora dos Estados Unidos sem o consentimento prévio por escrito do Distrito”, continuou a declaração. “Quaisquer dados de estudantes pertencentes ao Distrito e armazenados na plataforma Ed continuarão sujeitos às mesmas proteções de privacidade e segurança de dados, independentemente do que acontecer com a AllHere como empresa”.
Um porta-voz do distrito, em resposta a perguntas feitas pelo The 74 na semana passada, disse que foi informado de que Smith-Griffin já não fazia parte da empresa e de que várias empresas “estão interessadas em adquirir a AllHere”. Entretanto, o Ed, disse o porta-voz, “pertence ao Los Angeles Unified e é para o Los Angeles Unified”.
Funcionários do gabinete do inspetor-geral não responderam aos pedidos de comentário. O departamento estadual de educação “não supervisiona diretamente o uso de programas de IA nas escolas nem tem autoridade para decidir quais os programas que um distrito pode utilizar”, disse um porta-voz num comunicado.
É uma reviravolta radical para a AllHere e para a ferramenta de IA que ela comercializa como uma “plataforma de aceleração de aprendizagem”, que estava em alta há apenas alguns meses. Em abril, a Time Magazine nomeou a AllHere entre as principais empresas de tecnologia educacional do mundo. No mesmo mês, a Inc. Magazine classificou Smith-Griffin como uma líder global em educação K-12 em inteligência artificial na sua lista de 250 Female Founders.
Ver aqui
O Ed também foi abençoado de forma semelhante com tratamento de celebridade.
“Ele vai falar com você em 100 idiomas diferentes, ele vai conectar-se consigo, ele vai apaixonar-se por si”, disse Carvalho na ASU+GSV. “Felizmente você vai adorar, e nesse processo estamos a transformar um sistema escolar de 540.000 alunos em 540.000 ‘escolas individuais’ através de uma absoluta personalização e individualização.”
Smith-Griffin, que se formou no distrito escolar de Miami que Carvalho liderou antes de ir para Harvard, não pôde ser contactada para comentários. A página de Smith-Griffin no LinkedIn foi recentemente desativada e partes do site da empresa ficaram inacessíveis. Tentativas de contatar a AllHere também não tiveram sucesso.
O produto funcionava, bem, mas funcionava com vigarice
Smith-Griffin, ex-professora e diretora de envolvimento familiar numa escola autónoma [charter school] de Boston, fundou a AllHere em 2016. Desde então, a empresa forneceu principalmente às escolas um sistema de mensagens de texto que facilita a comunicação entre pais e educadores. Projetada para reduzir o absentismo crónico dos alunos, a ferramenta depende de dados de frequência e outras informações para fornecer “impulsos” personalizados por texto.
O trabalho que a AllHere forneceu ao distrito escolar de Los Angeles [LAUSD], disse Whiteley, estava situado num nível totalmente diferente — e a empresa não estava preparada para responder à procura e carecia de experiência em segurança de dados. Em Los Angeles, a AllHere atuava como consultora, e não como uma empresa de tecnologia que construía o seu próprio produto, de acordo com o seu contrato com o LAUSD obtido pelo The 74. Por fim, o distrito manteve os direitos sobre o robô de conversação, de acordo com o acordo, mas a AllHere estava contratualmente obrigada a “cumprir as políticas de segurança da informação do distrito”.
O contrato observa que o robô de conversação seria “treinado para detetar qualquer informação confidencial ou sensível” e desencorajar pais e alunos de compartilhar com ele quaisquer detalhes pessoais. Mas a decisão do robô de conversação de compartilhar e processar informações individuais dos alunos, disse Whiteley, estava fora do controle das famílias.
Para fornecer respostas individualizados sobre detalhes tais como frequência e dados demográficos dos alunos, a ferramenta conecta-se a várias fontes de dados, de acordo com o contrato, nomeadamente o Welligent, uma ferramenta online usada para rastrear serviços de educação especial dos alunos. O documento observa que o Ed também interage com os Dados Integrados da Criança Completa (Whole Child Integrated Data) armazenados na Snowflake, uma empresa de armazenamento em nuvem. Lançada em 2019, a plataforma Whole Child serve como um repositório central de dados dos alunos do LAUSD, projetado para agilizar a análise de dados e ajudar os educadores a monitorizar o progresso dos alunos e personalizar o ensino.
Whiteley informou as autoridades que o aplicativo incluía informações de identificação pessoal dos alunos em todos os questões postas ao robô de conversação, mesmo naqueles em que os dados não eram relevantes. Alega ainda que as solicitações contendo informações pessoais dos alunos foram compartilhados desnecessariamente com outras empresas terceirizadas e processados em servidores offshore. Segundo ele, sete de cada oito solicitações do robô de conversação Ed são enviadas para locais como Japão, Suécia, Reino Unido, França, Suíça, Austrália e Canadá.
Globalmente consideradas, ele argumentou que as práticas da empresa violavam os princípios de minimização de dados – padrão de segurança cibernética que determina que os aplicativos devem recolher e processar a quantidade mínima necessária de informações pessoais para realizar uma tarefa específica. Ele afirmou que a manipulação negligente desses dados expôs desnecessariamente as informações dos estudantes a possíveis ciberataques e violações de dados e, nos casos em que os dados eram processados no exterior, poderia submetê-los às regras de acesso governamental e vigilância de países estrangeiros.
O código-fonte do robô de conversação que Whiteley compartilhou com The 74 detalha como os comandos são processados em servidores estrangeiros por um serviço de IA da Microsoft que integra o ChatGPT. O robô de conversação do Distrito Escolar Unificado de Los Angeles (LAUSD) está orientado para atuar como um “agente de suporte ao cliente amigável e conciso” que responde “usando uma linguagem simples que um aluno do terceiro ano seria capaz de entender”. Ao consultar o simples comando “Olá”, o robô de conversação fornece as notas do aluno, o progresso em direção à formatura assim como outras informações pessoais.
A falha crítica da AllHere, disse Whiteley, é que os altos quadros da empresa “não sabiam como proteger os dados”.
“O problema é que estamos a enviar dados para o exterior, estamos a enviar demasiados dados e, em seguida, os dados estão a ser registados por terceiros“, disse ele, em violação ao acordo de uso de dados do distrito. “O produto funcionava, bem, mas funcionava trapaceando. Ele trapaceou por não fazer as coisas como devem ser feitas e desde o seu início.”
Num boletim de políticas de 2017, o distrito ressalta que todas as informações sensíveis “precisam ser tratadas de forma segura que proteja a privacidade” e que os contratados não podem divulgar informações a terceiros sem o consentimento dos pais. Um segundo boletim de políticas, de abril, descreve as diretrizes de utilização autorizada de inteligência artificial do distrito, onde se observa que os funcionários “não devem compartilhar qualquer informação confidencial, sensível, privilegiada ou privada ao usar, instruir ou comunicar-se com quaisquer ferramentas”. É importante evitar o uso de informações sensíveis em comandos, observa a política, porque as ferramentas de IA “pegam em tudo o que os utilizadores inserem num comando e incorporam isso nos seus sistemas/base de conhecimento para outros utilizadores“.
“Bem, é isso mesmo que a AllHere tem estado a fazer”, disse Whiteley.
“Ácido é perigoso”
As revelações de Whiteley apresentam ao LAUSD (Distrito Escolar Unificado de Los Angeles) o seu terceiro escândalo de segurança de dados de estudantes no último mês. Em meados de junho, um traficante informático conhecido como “Sp1d3r” começou a vender por 150.000 dólares um conjunto de dados que alegava teria roubado do distrito de Los Angeles no Breach Forums, um mercado paralelo da Internet. O LAUSD disse à Bloomberg que os dados comprometidos estavam armazenados por um dos seus fornecedores externalizados na empresa de armazenamento em nuvem Snowflake, o repositório dos dados integrados “Whole Child” do distrito. A violação de dados da Snowflake pode ser uma das maiores da história. O traficante informático afirma que os dados das escolas de Los Angeles em sua posse incluem registos médicos de estudantes, informações sobre deficiências, detalhes disciplinares e credenciais de login dos pais.
O robô de conversação interagia com dados armazenados pela Snowflake, de acordo com o contrato do distrito com a AllHere, embora qualquer conexão entre a AllHere e a violação de dados da Snowflake seja desconhecida.
Na sua declaração de sexta-feira, o porta-voz do distrito afirmou que estava em curso uma investigação mas “não revelou nenhuma conexão entre a AllHere ou a plataforma Ed e o incidente com a Snowflake”. O porta-voz também disse que não havia “integração direta” entre o Whole Child e a AllHere, e que os dados do Whole Child foram processados internamente antes de serem direcionados para a AllHere.
No entanto, o contrato entre a AllHere e o distrito observa que a ferramenta deve “integrar-se perfeitamente” com os dados integrados do Whole Child “para receber dados atualizados dos alunos sobre frequência, notas, dados de testes, informações de contato dos pais e dados demográficos.”
No início do mês, um segundo traficante informático conhecido como Satanic Cloud alegou ter tido acesso a informações sensíveis de dezenas de milhares de estudantes de Los Angeles e afirmou tê-las colocado à venda no Breach Forums por 1.000 dólares. Em 2022, o distrito foi vítima de um ataque pirata em grande escala que expôs grandes volumes de dados confidenciais, incluindo avaliações psicológicas de milhares de alunos, na Internet paralela dita também Internet sombra.
Com o futuro da AllHere incerto, Whiteley criticou duramente a liderança e os protocolos da empresa. “As informações pessoalmente identificáveis deveriam ser consideradas como ácido dentro de uma empresa — e só devem ser tocadas se for absolutamente necessário, porque ácido é uma coisa perigosa”, disse ele ao The 74. “Os erros cometidos em relação às informações pessoais foram tão graves que, se se não considera as informações pessoais identificáveis como algo ácido, então não deveria estar a trabalhar na área da educação.”
________________
O autor: Mark Keierleber é um jornalista de investigação do The 74. É especialista na cobertura da segurança escolar e dos direitos civis dos estudantes e é autor do boletim informativo quinzenal sobre (in) Segurança Escolar. O seu trabalho foi publicado em The Guardian, Wired e The Atlantic, entre outras publicações.